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^ (57) Abstract: The invention relates to a method of encoding an image having a hierarchical mesh associated therewith, comprising 
^ the wavelet encoding of said mesh. According to the invention, one such encoding method involves the use of at least two types of 
wavelets which are applied selectively to different areas of the image. 
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(57) Abrege : Linvention conceme un proced^ de codage d'une image h. laquelle est associ6 un maillage hi6rarchique, mettant en 
oeuvre un codage dudit maillage par ondelettes. Selon I'invention, un tel pToc6d6 de codage met en oeuvre au moins deux types 
d'ondelettes appliques s^lectivement k des zones distinctes de ladite image. 
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PROCEDE DE CODAGE D'UNE IMAGE PAR ONDELETTES ET PROCBDE DE DECODAGE • 

correspondantes. 

Le domaine de rinvention est celui du codage d'images fixes ou animees, 
et notamment, mais non exclusivement, du codage d^images successives dWe 
5 sequence vid^o. Plus pr6cis6ment, Tinvention concerne une technique de 
codage/decodage d'images auxquelles sont associees un maillage, et mettant en 
oeuvre une methode dite ondelettes". L'invention s'applique plus 
particulierement, mais non exclusivement aux ondelettes de 2^™ g6n6ration, 
pr6sent6es notanunent dans le document de Wim Sweldens, intituM "The Lifting 
10 Scheme : A Constraction of Second Generation Wavelets" (en frangais, "Le 
proc6d6 d'616vation : une constraction des ondelettes de deuxifeme generation"), 
SIAM Journal on Mathematical Analysis, Volume 29, number 2, pp 511-546, 
1998. 

Avec le d6veloppement de nouveaux r6seaux de transmission (xDSL, 
15 mobiles avec le GPRS et I'UMTS, etc.), les techniques de codage d^images et de 
compression de videos num^riques doivent s'adapter h Theterogeneite des reseaux 
ainsi qu'aux fluctuations possibles de la qualite de service (QoS) au cours du 
temps. La prise en consideration de tons ces facteurs au niveau du codage 
d'images fix:es ou animees doit permettre de foumir a Tutilisateur final une quality 
20 visuelle optimale. 

On connalt h ce jour plusieurs techniques de codage d'images, comme les 
techniques de codage par pr6diction temporelle et transformation en cosinus 
discrets bases sur une structure de blocs, telles que proposees par les organismes 
de normalisation ISO/MPEG (en anglais "International Organization for 
25 Standardization/Moving Picture Coding Expert Group", en fi:an§ais "Organisation 
Internationale de Standardisation/Groupe d'Experts pour le Codage dlmages 
Animees") et/ou ITU-T (en anglais "International Telecommunication Union- 
Telecommunication Standardization Sector", en firangais "Union Internationale de 
Tel&ommunications-Secteur de standardisation des telecommunications"). 
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On connait egalement des techniques de codage proprietaires bashes sur un 
codage par transformde DCT sur des blocs (Microsoft avec Windows Media, 
RealMedia avec Real One, Divx (marques d6pos6es), etc.), ou encore certaines 
techniques de codage par ondelettes ou maillages, telles que presentees 
5 notamment dans les demandes de brevets fran9ais n°2 781 907 intitulee "Procede 
de codage d'un maiUage source tenant compte des discontinuites, et applications 
correspondantes" et n"* 2 825 855, intitulee "Proced6s et dispositifs de codage et 
de d6codage d*images mettant en oeuvre des maillages emboites, programme, 
signal et application correspondantes" au nom du m&me titulaire que la pr6sente 

10 demande de brevet 

Cependant, ces diff^rentes techniques de codage d'images connues 
presentent de nombreux inconvenients, notamment pour les applications ou les 
reseaux de transmission a tres bas debit. 

Ainsi, les techniques de codage basees blocs conduisent k Tapparition de 

15 forts effets, ou artefacts, qui reduisent fortement la quality visuelle de la restitution 
de I'image. Les codages de type MPEG-4 ou ITU-T/H.263 sont desormais 
consid6res conrnie ayant atteint leurs limites, notamment k cause de la structure de 
blocs rigides de taille fixe, utilisee comme support de Tensemble des calculs et 
operations de codage. De meme, pour les techniques mettant en oeuvre des 

20 ondelettes, un effet de sur-oscillation, encore appel6 en anglais "ringing", donne 
un rendu flou, ainsi que 1' impression, txhs d6sagr6able pour Tutilisateur, de 
« voir » Tondelette sur I'image. 

Pour les applications ou les r6seaux de transmission de debits plus 61ev6s, 
ces differentes techniques ne permettent pas d'atteindre la limite en efficacite de 

25 codage. 

Enfin, aucune de ces techniques de Tart anterieur ne permet d'optimiser le 
codage d'une image, en tenant compte des caract6ristiques intrinsfeques de cette 
demi^re. 

En outre, dans le cadre du codage de sequences video, et dans un souci de 
30 reduction du volume de donnees transmises et codecs, on procede couranmient en 
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calculant une image d'erreur, comme la soustraction dWe image originale de la 
sequence et d'une image interpol6e, ou determinee par estimation/compensation 
de mouvement. On pourra se r6f6rer par exemple h la demande de brevet frangais 
n°00 10917 intitulee "Proc6de de construction d'au moins une image interpolee 
5 entre deux images d'une sequence animee, precedes de codage et de d6codage, 
signal et support de donn6es correspondants" au nom du meme titulaire que la 
presente demande de brevet. 

Or aucune des techniques de codage connues n'est adapt6e au contenu 
sp6cifique de telles images d'erreurs, qui ne contiennent g^n^ralement que des 
10 hautes frequences, telles que des contours, des textures, ou encore des 
singularites. 

L 'invention a notamment pour objectif de pallier ces inconvenients de Tart 
anterieur. 

Plus precisement, un objectif de Tinvention est de foumir une technique de 
15 codage d'images fixes ou anim^es permettant d^optimiser le r6sultat du codage par 
rapport aux techniques de Tart anterieur. 

Un autre objectif de Tinvention est de mettre en oeuvre une telle technique, 
qui permette de reduire le volume des donnees issues du codage, et done 
eventuellement transmises par un reseau de conununication jusqu'au dispositif de 
20 decodage et de restitution de I'image* 

L*invention a 6galement pour objectif de mettre en oeuvre une telle 
technique qui soit "6chelonnable", c*est-k-dire qui s'adapte aux fluctuations des 
r6seaux de transmission, et notanunent aux variations de d6bit de tels r6seaux. 

L'invention a aussi pour objectif de fournir une telle technique qui 
25 permette une transmission a bas debit des informations de codage d'une image ou 
d'une sequence d'images. 

Un autre objectif de Tinvention est de mettre en oeuvre une telle technique 
qui permette d'atteindre une bonne quality visuelle de restitution de Timage cod6e, 
et notanunent des zones de discontinuity de cette image. 
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L'invention a egalement pou objectif de foumir une telle technique qui soit 
bien adapt^e au codage d*images d'erreur. 

L'invention a encore pour objectif de foumir une telle technique qui soit 
simple et peu coflteuse k mettre en ceuvre. 
5 Ces objectif s, ainsi que d'autres qui apparaitront par la suite, sont atteints a 

Taide d'un procede de codage d'une image a laquelle est associe un maillage 
hierarchique, mettant en oeuvre un codage dudit maillage par ondelettes. 

Selon rinvention, un tel procede de codage met en ceuvre aii moins deux 
types d'ondelettes appliqu6es s61ectivement h des zones distinctes de ladite image. 

10 Ainsi, Tinvention repose sur une approche tout k fait nouvelle et inventive 

du codage damages fixes ou animees, et notanmient du codage d'images tfune 
sequence video. En effet, Tinvention propose non seulement de coder les images 
selon la technique innovante des ondelettes, et notamment des ondelettes de 
deuxieme generation telles qu'introduites par W. Dahmen ("Decomposition of 

15 refinable spaces and applications to operator equations", Numer. Algor., N**5, 
1993, pp.229-245, en franfais "d&omposition d'espaces pouvant etre raffin6s et 
applications aux equations d'operateur") et J. M. Carnicer, W. Dahmen et J.M. 
Pena ("Local decomposition of refinable spaces", Appl. Comp. Harm. Anal. 3, 
1996, pp. 127-153, en fran9ais "decomposition locale d'espaces pouvant etre 

20 raffines"), mais Egalement d'optimiser un tel codage, en appliquant des types 
d'ondelettes diff6rents k des zones distinctes de Timage. 

En effet, les inventeurs de la pr6sente demande de brevet ont mis en 
evidence le fait que les differents types d'ondelettes existantes presentent des 
proprietes de codage distinctes. lis ont done eu I'idee d'exploiter ces differentes 

25 proprietes, en appliquant, aux differentes zones d'une image, le type d'ondelettes 
dont les proprietes de codage sont les mieux adaptees au contenu de chacune des 
zones. 

On optimise ainsi le codage global de I'image, en adaptant le codage par 
ondelettes a des regions de Timage de caracteristiques differentes, et en utilisant. 
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si ndcessaire, plusieurs types d'ondelettes distinctes pour le codage d'une meme 
image. 

Preferentiellement, un tel precede de codage comprend les etapes 
suivantes : 

5 - une etape de partitionnement de ladite image en au moins deux zones de 
natures distinctes, la nature d'une zone etant fonction d'au moins un 
parametre caracteristique dudit maillage dans ladite zone ; 
pour chacune desdites zones, une 6tape d'affectation, au moins en fonction 
de ladite nature, d'un type d'ondelettes permettant d'optimiser ledit codage 
10 dudit maillage de ladite zone. 

On comprendra bien sur que, dans le cas ou I'lmage est homogene, en ce 
sens que toutes les zones de cette image sont de meme nature, on ne partitionne 
pas rimage, mais on procede directement k Taffectation, k I'ensemble de Timage, 
du type d'ondelettes permettant d'optimiser le codage de I'image dans son 
IS integrality. 

Avantageusement, ledit paramfetre caracteristique dudit maillage tient 
compte de la density dudit maillage dans ladite zone. 

En effet, la densite du maillage en un point de la zone, et dans une region 
englobant ce point, permet par exemple de determiner si la zone consideree est 
20 une zone de texture, de contour, ou de singularity, conmie il sera decrit plus en 
detail par la suite dans ce document. 

Selon une caracteristique avantageuse de Tinvention, ladite nature de ladite 
zone appartient au groupe comprenant : 
au moins un type de texture ; 
25 - au moins un type de contour ; 

au moins un type de singularite ; 
au moins un type de couleur ; 
au moins un type de forme. 
Selon une caracteristique pr^ferentielle de I'invention, lesdits types 
30 d'ondelettes appartiennent au groupe comprenant : 
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les ondelettes de Loop ; 
les ondelettes de Butterfly ; 
les ondelettes de Catmull-clark ; 
les ondelettes affines. 

5 L'Homme du Metier comprendra ais^ment que Tinvention ne se limite pas 

aux seuls types d^ondelettes indiqu6s ci-dessus, qui ne sont presentees qu'a titre 
illustratif. 

De manifere avantageuse, un tel proc6d6 de codage comprend, pour 
chacune desdites zones, une 6tape d*application audit maillage de coefficients 
10 dudit type d'ondelettes affect^ a ladite zone, tenant compte d'une valeur scalaire 
associ^e audit maillage en un point de mise ^ jour de ladite zone et de ladite 
valeur scalaire associee audit maillage en au moins certains points voisins dudit 
point de mise a jour. 

Preferentiellement, ladite valeur scalaire represente un paramfetre dudit 
15 maillage appartenant au groupe comprenant : 
la luminance dudit maillage ; 

au moins une composante de chrominance dudit maillage. 
Ainsi, on se place par exemple au point d'application du maillage (ou point 
de mise h jour), et on considfere une composante de la chrominance en ce point. 
20 On 6tudie alors la valeur de cette mdme composante de chrominance aux points 
voisins de ce point de mise i jour, pour appliquer en consequence les coefficients 
d'ondelettes (par pond6ration), ainsi que pr6sent6 plus en detail par la suite en 
relation avec les figures 7a a 7d. 

De maniere preferentielle, un tel proc^de de codage comprend en outre une 
25 etape de codage desdits coefficients d*ondelettes mettant en oeuvre une technique 
appartenant au groupe comprenant : 

une technique de type zero-tree ; 
une technique de type EBCOT. 
Avantageusement, ladite image appartenant k une sequence d'images 
30 successives, ledit proced6 comprend en outre une etape de comparaison desdits 
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coefficients d'ondelettes de ladite image aux coefficients d*ondelettes d'au moins 
une image pr&edente ou suivante de ladite sequence, de fagon k eviter de mettre 
en ceuvre ladite 6tape de codage pour des coefficients d'ondelettes de ladite image 
identiques k ceux de ladite image pr6c6dente ou suivante. 
5 On reduit ainsi le volume des donnees transmises, ce qui est 

particulierement avantageux dans le cas de reseaux de transmission a bas debit, ou 
pour les terminaux de restitution de faible capacity. Pour les coefficients 
d'ondelettes identiques aux coefficients pr^c^denmient transmis pour une autre 
image, on pent se contenter de transmettre un ensemble de zeros, ainsi qu'une 

10 r6f6rence permettant d*indiquer oH les coefficients d'ondelettes peuvent Stre 
trouv6s (par exemple, une reference k I'image precedente pour laquelle ces 
coefficients ont dej^ ete re9us par le dispositif de decodage). 

De maniere avantageuse, un tel procede de codage permet de coder une 
sequence d'images successives, et ladite image est une image d'erreur, obtenue par 

15 comparaison d'une image originale de ladite s6quence et d'une image construite 
par estimation/compensation de mouvement, ladite image comprenant au moins 
une region d'erreur k coder et eventuellement au moins une region sensiblement 
vide. 

Bien sur, dans le cas ou I'image originale est absolument identique k 
20 I'image estimee, I'image d'erreur est vide, et ne comprend done pas de r6gion 
d'erreur k coder. Inversement, si I'image originale differe en tout point de I'image 
estimde, I'image d'erreur ne comprend pas de region vide. 

De maniere preferentielle, ladite 6tape de partitionnement comprend une 
etape de detection desdites regions d'erreur de ladite image par seuillage, 
25 permettant de determiner au moins une region de ladite image presentant une 
erreur sup^rieure k un seuil pr6d6termin€» 

Ce seuil peut etre parametre en fonction des contraintes de Tapplication ou 
du r6seau de transmission consid6r6, ou encore en fonction de la qualite de 
restitution que Ton souhaite obtenir. 
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Selon une premiere variante de realisation avantageuse de rinvention, 
ladite dtape de partitionnement comprend 6galement une 6tape de regroupement 
d'au moins certaines desdites regions d'erreur d^tectees par blocs de forme 
parallelipipedique. 

5 Pref^rentiellement, ladite 6tape de partitionnement comprend une etape de 

creation desdites zones de ladite image sous forme d'ensembles de blocs de meme 
nature. 

On applique ainsi un meme traitement par ondelettes k tons les blocs de 
m§me nature de Timage, m6me si ces blocs sont distants les uns des autres au sein 
10 de I'image. 

Selon une deuxieme variante de realisation avantageuse de Tinvention, 
ladite etape de partitionnement comprend une etape de creation desdites zones de 
ladite image k partir desdites regions d'erreur detectees, mettant en oeuvre une 
technique de type quadtree. 

15 L'invention conceme 6galement un proc6d6 de d6codage d'une image k 

laquelle est associe un maillage hierarchique code par ondelettes, mettant en 
ceuvre un decodage selectif de zones distinctes de ladite image, en fonction 
d'informations relatives k un type d'ondelettes affect6 au codage du maillage de 
chacune desdites zones. 

20 Ainsi, I'image ayant 6t6 partitionn^e lors du codage en au moins deux 

zones de natures distinctes, et la nature d'une zone 6tant fonction d'au moins un 
parametre caracteristique dudit maillage dans ladite zone, le procede de decodage 
de I'invention comprend les etapes suivantes : 

une etape d'extraction, au sein d'un flux representatif de I'image codec, 

25 d'informations relatives au type d'ondelettes affecte au codage du maillage de 
chacune des zones ; 

pour chacune des zones, une 6tape de ddcodage, en fonction de telles 
informations, du maillage de la zone. 

L'invention conceme aussi un dispositif de codage d'une image a laquelle 

30 est associe un maillage hierarchique, mettant en o&uvre des moyens de codage 
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dudit maillage par ondelettes, et comprenant des moyens d'application selective 
d'au moins deux types d*ondelettes a des zones distinctes de ladite image. 

Le dispositif de codage de rinvention comprend done les moyens 
suivants : 

5 - des moyens de partitionnement de Timage en au moins deux zones de 

natures distinctes, la nature d'une zone etant fonction d'au moins un parametre 
caracteristique du maillage dans la zone ; 

des moyens, mis en oeuvre pour chacune des zones, d'affectation, en 
fonction de la nature de la zone, d*au moins un type d^ondelettes permettant 

10 d'optimiser le codage du maillage de la zone. 

L*invention conceme encore un dispositif de decodage d'une image a 
laquelle est associe un maillage hierarchique code par ondelettes, comprenant des 
moyens de decodage selectif de zones distinctes de ladite image, en fonction 
d'informations relatives k un type d'ondelettes affects au codage du maillage de 

IS chacune desdites zones. 

Ladite image ayant et6 partitionnee lors du codage en au moins deux zones 
de natures distinctes, et la nature d^une zone 6tant fonction d'au moins un 
parametre caracteristique du maillage dans la zone, le dispositif de decodage de 
rinvention comprend done les moyens suivants : 

20 - des moyens d'extraction, au sein d'un flux repr6sentatif de Timage 

cod6e, dlnformations relatives k un type d'ondelettes affect6 au codage du 
maillage de chacune des zones ; 

pour chacune des zones, des moyens de decodage, en fonction de 
telles informations, du maillage de la zone. 

25 L'invention conceme egalement un signal representatif d'une image k 

laquelle est associ6 un maillage hierarchique cod^ par ondelettes. Selon 
rinvention, au moins deux types d'ondelettes ayant 6te appliques s^lectivement k 
des zones distinctes de ladite image lors du codage, un tel signal vehicule des 
informations relatives audit type d'ondelettes affect^ au codage du maillage de 

30 chacune desdites zones. 
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L'image ayant 6t6 partitionnee, lors du codage en au moins deux zones de 
natures distinctes, et la nature d'une zone etant fonction d'au moins un param^tre 
caract6ristique du maillage dans la zone, le signal de Tinvention v6hicule done des 
informations relatives ^ un type d'ondelettes affect6 au codage du maillage de 
5 chacune des zones. 

Avantageusement, un tel signal est structure sous forme de paquets 
associes chacun k Tune desdites zones de ladite image, chacun desdits paquets 
comprenant les champs suivants : 

un champ indicatif d*un d€bnt de paquet ; 
10 - un champ v6hiculant un identifiant dudit paquet ; 

un champ d'en-tete ^informations (en anglais "information header") ; . 
un champ comprenant lesdites informations relatives audit type 
d'ondelettes affecte h ladite zone ; 

un champ comprenant des coefficients d'ondelettes appliques audit 
IS maillage de ladite zone ; 

un champ relatif k la forme dudit maillage de ladite image ; 
un champ indicatif tfune fin de paquet. 
Preferentiellement, ledit champ d'en-tete d'informations comprend : 

un sous-champ relatif au nombre de coefficients tfondelettes de ladite 

20 zone ; 

un sous-champ indiquant ladite zone de ladite image, en fonction de 
ladite forme dudit maillage ; 

un sous-champ relatif au nombre de plans de bits mis en oeuvre pour 
lesdits coefficients d'ondelettes. 
25 L'invention concerne encore I'application du precede de codage et du 

procede de decodage decrits precedemment k I'un au moins des domaines 
appartenant au groupe comprenant : 

le "streaming" viddo (en frangais, "Emission tfun flux vid6o") ; 

le stockage des videos ; 
30 - la visioconference ; 
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la video a la demande (en anglais VOD pour "Video On Demand") ; 
les mels video. 

D'autres caract€ristiques et avantages de Tinvention apparaltront plus 
clairement k la lecture de la description suivante d*un mode de realisation 
5 preferentiel, donne a litre de simple exemple illustratif et non limitatif, et des 
dessins annexes, parmi lesquels : 

les figures la et lb rappellent les schemas generaux de decomposition 
lifting, telle que d^crite notamment par W. Sweldens "The Lifting 
Scheme : A Nev/ Philosophy in Bi Orthogonal Wavelets Constructions", 
10 Proc. SPffi 2529, 1995, pp 68-69 (en frangais "Le sch6ma "lifting": une 

nouvelle philosophic pour les constructions par ondelettes bi- 
orthogonales") ; 

la figure 2 illustre le principe general de I'invention, reposant sur le choix 
de transformations par ondelettes adaptees aux caracteristiques de 
15 diff<6rentes zones d*une image ; 

la figure 3 decrit le principe de partitionnement de Timage de la figure 2 en 
diff6rentes zones, selon une technique de type quadtree, lorsque I'image est 
une image d'erreur ; 

la figure 4 presente un exemple de maillage regulier dense applique a une 
20 image selon I'invention ; 

les figures 5a k 5g illustrent diffdrentes Stapes de subdivision du maillage 
dWe image mises en oeuvre dans le cadre de Tinvention ; 
la figure 6 pr6sente le principe de gestion des bords dans le cadre de 
I'invention ; 

25 - les figures 7a k 7d illustrent les differents schemas d'ondelettes qui peuvent 
8tre appliqu6es aux differentes zones d'une image selon I'invention. 
Le principe general de Tinvention repose sur Tapplication de differents 
types d'ondelettes, et notamment d'ondelettes de deuxifeme g6neration, k 
differentes zones d'une image, de fagon k optimiser le codage global de Timage, 
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en choisissant un type d'ondelettes dont les proprietes de codage sont adaptees au 
contenu de la zone consideree. 

Prdalablement k la description d'un mode de realisation detains de 
Tinvention, on commence tout d'abord par faire quelques rappels succincts sur le 
5 codage video, ainsi que sur les notions de maillage, de lifting et d'ondelettes de 
deuxieme generation. En effet, I'invention peut notamment 6tre mise en oeuvre 
dans le contexte general du codage d'une sequence vid6o, qui repose sur ces 
diff6rentes notions. 

Le principe general du codage video, qui est par exemple d6crit dans le 

10 document ISO/EC (ITU-T SG8) JTC1/SC29 WGl (JPEG/JBIG), JPEG2000 Part 
I Final Committee Draft, Document N1646R, Mars 2000 consiste k d^crire une 
video numerique sous la forme d'une succession d'images representees dans le 
plan YUV (Luminance/Chrominance r/Chrominance b), echantillonnees de 
maniere diverse (4:4:4 / 4:2:2 / 4:2:0...). Le systeme de codage consiste a changer 

15 cette repr6sentation en tenant compte des redondances spatiales et temporelles 
dans les images successives. On applique done des transformations (de type DCT 
ou ondelettes par exemple) pour obtenir une s6rie d'images inter-d6pendantes. 

Ces images sont « rangees » dans I'ordre I/B/P, ou chaque type d'image a 
des proprietes bien determinees. Les images I, encore appelees images « intras », 

20 sont codecs de la meme fagon que des images fixes et servent de r^f^rence aux 
autres images de la sequence. Les images P, encore appel6es images « pi^dites », 
contiennent deux types d'informations : une information tferreur compens6e en 
mouvement et les vecteurs mouvements. Ces deux informations sont d6duites 
d'une ou plusieurs images precddentes qui peuvent etre de type I, ou de type P. 

25 Les images B, encore appelees images « bidirectionnelles », contiennent elles 
aussi ces deux informations, mais sont basees sur deux r6f6rences, k savoir une 
r6fdrence arriere et une reference avant, qui peuvent etre de type I, ou de type P. 

Dhs lors, il suffit de transmettre Timage intra « I » cod6e de manifere 
classique, puis les vecteurs mouvements et les erreurs relatifs h chaque image 

30 successive, pour pouvoir restituer Tintegralite de la sequence video consideree. 
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Les techniques connues de codage d'images fixes ou de sequences vid€o 
reposent egalement sur Tutilisation de maillages hierarchiques, que Ton associe 
aux images a coder. Ainsi, consid6rons une image fixe, par exemple cod6e en 
niveaux de gris. L*image peut gtre consid^rde comme une representation 

5 discr^tis^e d'une surface parametrique. On peut done appliquer, soit sur une zone 
de rimage, soit sur Timage entiere, un maillage quelconque. Par subdivision 
hierarchique (qui peut etre adaptative ou non), on fait 6voluer ce maillage de 
manifere r6gulifere ou irr6guli&re. On dispose ainsi d'une « hi6rarchie », en 
subdivisant le maillage dans les seules regions de Timage oil rerreur calcul^e est 

10 sup^rieure h un seuil pr€d6tennin6. Un apergu g6n6ral des techniques k base de 
maillages est egalement present6 dans le document ISO/IEC (ITU-T SG8) 



Document N1646R, Mars 2000. 

Certaines techniques de codage d'images reposent 6galement sur une 

15 m6thode de decomposition par ondelettes particuliere, appelee "lifting", d6crite 
notamment par W. Sweldens "The Lifting Scheme : A New Philosophy in Bi 
Orthogonal Wavelets Constructions", Proc. SPIE 2529, 1995, pp 68-69 (en 
fi:an§ais "Le schema "lifting": une nouvelle philosophie pour les constructions par 
ondelettes bi-orthogonales"). Le lifting est apparu depuis peu et s'impose comme 

20 une methode de decomposition par ondelettes plus simple et plus rapide que la 
m6thode usuelle, convolutive. EUe permet une reconstruction simple, par de 
simples operations lignes/colonnes sur la matrice d' analyse. 

On pr6sente, en relation avec les figures la et lb, les schemas g^neraux de 
la decomposition "lifting", ainsi que la forme de la matrice polyphase associde. 

25 La methode generale consiste a separer 1 1 le signal en 2 echantillons pairs 

12 et impairs 13 et k predire les echantillons impairs en fonction des 6chantillons 
pairs. Une fois la prediction r^alis^e, une mise k jour du signal est effectufe afin 
d'en preserver les propriet6s initiales. Get algorithme peut etre itere autant de fois 
que voulu. La representation par lifting conduit k la notion de matrice polyphase, 

30 qui permet Tanalyse 14 et la synthese 15 du signal. 



JTC1/SC29 WGl (JPEG/JBIG), JPEG2000 
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La figure lb illustre plus pr6cisement le schema "lifting" concaten6 avec la 
matrice polyphase P(z) telle que : 

P{z) = 



1 0 

5 avec Si(z) et ti(z) deux polynomes de Laurent, et A et B des coefficients de 
normalisation. 

On rappelle enfin que les ondelettes de deuTcifeme g6n6ration, qui peuvent 
notamment 8tre mises en oeuvre dans le cadre de la pr^sente invention, constituent 
une nouvelle transformation, issue du monde mathematique. 

10 Cette transformation a 6t6 introduite en premier lieu par W. Dahmen 

("Decomposition of refinable spaces and applications to operator equations", 
Numer. Algor., N^'S, 1993, pp.229-245, en frangais "decomposition d'espaces 
pouvant Stre raffin^s et applications aux Equations d'opdrateur") et J. M. Camicer, 
W. Dahmen et J.M. Pena ("Local decomposition of refinable spaces", AppL 

15 Comp. Harm. Anal. 3, 1996, pp. 127-153, en frangais "decomposition locale 
d'espaces pouvant §tre raffin^s") puis developpee par W.Sweldens ('The Lifting 
Scheme : A Construction of Second Generation Wavelets", Nov 1996, SIAM 
Journal on Mathematical Analysis, en fran5ais "Le schema "lifting" : une 
construction d'ondelettes de deuxieme generation") et W. Sweldens & P. Schroder 

20 ("Building Your Own Wavelet at Home", Chapter 2, Technical report 1995, 
Industrial Mathematics Initiative, en £ran§ais "Construisez vos propres ondelettes 
chez vous"). 

Ces ondelettes sont construites a partir d'une subdivision irreguliere de 
I'espace d' analyse, et sont basees sur une methode d'interpolation pond6r6e et 
25 moyennfe. Le produit vectoriel habituellement utilise sur L^(R) devient un produit 
vectoriel interne pond^r^, Ces ondelettes sont particuliferement bien adapt6es pour 
les analyses sur des supports compacts et sur les intervalles. Biles conservent 
cependant les propri6tes des ondelettes de premiere generation, k savoir une bonne 
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localisation temps/frequence et une bonne rapidite de calculs, car elles sont 
construites autour de la methode lifting exposee pr6c6demment 

M. Lounsbery, T. DeRose, et L Warren dans "Multiresolution Analysis for 
Surfaces of Arbitrary Topological Type", ACM Transactions on Graphics, 1994 
5 (en frangais "Analyse multiresolution de surfaces de type topologique arbitraire") 
ont envisage d^appliquer ces ondelettes sur une structure surfacique quelconque. 
Dans le cadre de la presente invention, ces ondelettes sont appliquees sur un 
maillage, qui constitue une surface dont la topologie pent Stre quelconque. 

Pour d^finir de manifere exacte ces ondelettes de deuxi&me generation, on 
10 peut tout d'abord rappeler les propridt^s que ces demidres ont en commun avec les 
ondelettes dites de premiere generation, puis indiquer les proprietes 
supplementaires que ces ondelettes de deuxieme generation presentent, et qui sont 
notamment exploitees dans le cadre de la presente invention. 

Proprietes communes aux ondelettes de premifere et de deuxieme 
15 generation : 

PI : Les ondelettes forment une base de Riez sur LxCR), ainsi qu'une 
base « uniforme'» pour une grande variete d'espace de fonctions, 
tel que les espaces de Lebesgue, Lipchitz, Sobolev et Besov. Cela 
signifie que toute fonction des espaces cites peut etre decomposee 
20 sur une base d' ondelettes, et cette decomposition convergera 

uniformement en norme (la norme de I'espace de depart) vers cette 
fonction. 

P2 : Les coefficients de decomposition sur la base uniforme sont connus 
(ou peuvent Stre trouves simplement). Soit les ondelettes sont 
25 orthogonales, soit les ondelettes duales sont connues (dans le cas 

bi-orthogonal). 

P3 : Les ondelettes, ainsi que leur duales, ont des proprietes locales en 
espace et en frequence. Certaines ondelettes sont meme a support 
compact Oa presente invention utilise preferentiellement, mais non 
30 exclusivement, de telles ondelettes). Les proprietes de localisation 
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en frequence decoulent directement de la regularite de Tondelette 
(pour les hautes frequences) et du nombre de moments 
polynomiaux nuls (pour les basses frequences). 
P4 : Les ondelettes peuvent 6tre utilis6es en analyse multir6solution. 
5 Cela conduit k la FWT (Fast Wavelet transform, en fran9ais, 

"transformee en ondelettes rapide"), qui permet de passer de la 
fonction aux coefficients ondelettes en « temps lin6aire ». 
Proprietes supplementaires caracterisant les ondelettes de seconde gen6ration : 

Ql : Alors que les ondelettes de premiere g6n6ration donnent des bases 
10 pour des fonctions d6finies sur R°, certaines applications 

(segmentation de donnees, solutions des equations aux derivees 
partielles sur des domaines generaux, ou application des ondelettes i 
sur un maiUage a topologie arbitraire. . .), necessitent des ondelettes 
definies sur des domaines de R° arbitraires, tels que les courbes, les 
15 surfaces ou les vari6t€s ; 

Q2 : La diagonalisation des formes differentielles, 1' analyse des courbes 
et des surfaces, et les approximations ponderees, necessitent une 
base adaptee aux mesures ponderees. Cependant, les ondelettes de 
premiere generation ne fournissent de bases que pour les espaces 
20 avec des mesures invariantes par translation (typiquement les 

mesures de Lebesgue) ; 
Q3 : Beaucoup de probldmes reels necessitent des algorithmes adapt^s 
pour les donnees h 6chantillonnage irr6gulier, alors que les 
ondelettes de premiere generation ne permettent qu'une analyse sur 
25 les donnees echantillonnees de maniere reguliere. 

Ainsi, pour resumer la construction des ondelettes de deuxieme generation, 
on pent mettre en avant les principes ci-dessous. 

Lors de Tanalyse multir^solution, on pose que Tespace traditionnelle oil 
6voluent les fonctions d'6chelle sont les V^, tels que : 
30 []V,-L,(di) 
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On agrandit Tespace d' analyse, en se plagant dans un Banach (note B). On a done, 
pour les ondelettes de deuxi&me g6n6ration : 



On definit, dans le Banach, au sens des distributions, un produit scalaire 
5 permettant de red6finir les espaces duaux. La condition de raffinement devient 
(sous forme matridelle) : 



10 techniques de codage video, on presente desormais plus en detail le principe 

general de I'invention en relation avec la figure 2. 

On considere Timage ref^rencee 21, qui pent etre une image fixe, ou Tune 

des images d'une sequence video, que Ton souhaite coder. Un maillage 

hierarchique reference 23 lui est associ^. Sur la figure 2, ce maillage est un 
15 maillage regulier qui ne recouvre que partiellement Timage 21. Le maillage pent 

bien stir ^galement 6tre un maillage irr6gulier et/ou recouvrir Tintegralitg de 

rimage 21. 

Le principe general de I'invention consiste a identifier, au sein de I'image 
21, des zones de natures differentes, auxquelles on choisit d'appliquer des types 
20 d'ondelettes distincts, dont les proprietes sont bien adaptees au contenu de la zone 
consid6r6e. Ainsi, on pent r^aUser une partition de Timage 21 de la figure 2, en 
une pluralite de zones 22, respectivement r^ferencees Tl, T2 et T3. 

Autant que faire se pent, ces zones r6f6renc6es Tl, T2 et T3 sont 
construites sous forme de blocs rectangulaires, pour faciliter leur traitement, ou 
25 d'ensembles de blocs rectangulaires agglomeres. 

Ainsi, la zone referencee T3 de Tensemble 22, qui correspond au soleil 24 
de I'image 21 est un rectangle englobant le soleil 24. En revanche, la zone 
rdferencde Tl, qui correspond au relief irregulier 25 de I'image 21, a une forme en 




k 



oil P est une matrice quelconque. 

Aprfes ces quelques rappels des notions n6cessaires k I'appr^hension des 
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escalier, qui correspond a un ensemble de blocs parallelepipediques suivant au 
mieux les formes du relief 25. 

La zone Tl est une zone de texture de Timage 21, alors que la zone T2 
englobe des singularites isol6es de Timage 21, et que le soleil de la zone T3 est 
5 principalement d^fini par des contours. 

Selon rinvention, on choisit done le type d'ondelettes qui convient le 
mieux au codage de chacune de ces zones. Dans un mode de realisation particulier 
de rinvention, pour la zone de texture Tl, on choisira ainsi d'appliquer une 
ondelette de type Butterfly, alors que les zones de singularity T2 et de contours T3 
10 seront pr6f6rentiellement cod6es k partir respectivement d'ondelettes affines et 
d'ondelettes de Loop. 

De cette fagon, on peut optimiser, tant le codage de Timage 21, que sa 
quality de restitution sur un terminal adapts. 

Le tableau ci-dessous resume les criteres de choix pr6fyrentiels selon 
15 rinvention de diffdrents types d'ondelettes, en fonction de la nature de la zone k 



coder. 



Type 
d'ondelette 


Nature de 
la zone 


Justifications 


Butterfly 


Texture 


Ondelette inteipolante, et non polynomiale. EUe est par 
morceaux (derivable et k d6riv6e continue) sur les zones 

r6gulieres. Elle chute k etre sur les somments du 
maillage de base. Elle est done plus adaptee sur les hautes 
frequences isolees (done les textures) 


Loop 


Contours 


Ondelette approximante, polynomiale dans les zones 
regulieres. Elle est C^ (deux fois d6rivables, et k derivee 
seconde continue). Elle respecte la courbure, et en cas de 
chute k etre C^, elle demeure C^ (ce qui garantit le respect 
de la courbure). Elle est done adaptee pour les contours et 
plus particulierement pour les objets naturels. 


Catmull-Clark 


Contours 


M6me type d*ondelette que I'ondelette de Loop, plus 
indiquee dans le cas des contours sur objet non naturel. La 
meme justification que pour les ondelettes de Loop 
s'applique pour les contours. 


AfBne 


Singularitds 


Ondelette trfes courte, C°, qui permet de s'adapter 
rapidement k un point, sans besoin de coder autour de ce 
point. Elle s'adapte parfaitement aux cas des singularites. 
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D'autres types d'ondelettes peuvent bien sur egalement etre mis en ceuvre 
dans le cadre de rinvention, qui n'est nuUement limitee aux seuls types 
d'ondelettes et natures de zones d&^rits dans le tableau ci-dessus. 

On notera que, dans le tableau ci-dessus, on distingue, en ce qui conceme 
5 les contours notamment, le cas des objets naturels de celui des objets non-naturels. 
En effet, les objets naturels sont deterniin6s par des contours plus incertains que 
les objets non naturels. Ainsi, frequentiellement, les objets naturels n'ont pas un 
pic bien defini, contrairement aux objets non naturels. II convient done de 
distinguer les deux cas, en fonction de Tobjet traits, 
10 Un critere de distinction de ces deux types d'objets peut par exemple etre 

obtenu par seuillage de Timage filtrde par un filtre passe haut multidirectionnel 
appliqu6 sur les niveaux de gris associes au contour. 

On s'attache desormais a pr6senter un mode de realisation particulier de 
rinvention dans le contexte general du codage d*une sequence video, dont Tune 
15 des etapes particuli^res correspond k la mise en ceuvre de I'invention. 

Un tel codage s^appuie notamment sur les technique de codage vid6o et de 
"lifting" d&rites ci-dessus. 

On considere un schdma de type I/(n)B/P, avec n positif ou nul, ou I 
designe une image "intra", B une image bidirectionnelle et P une image pr6dite. A 
20 titre d'exemple, on peut considerer que Ton met en oeuvre un codage de type 
MPEG, par exemple MPEG-4, sauf pour les images d'erreur, pour lesquelles on 
met en ceuvre I'invention, avec codage par maillage et ondelettes de deuxifeme 
generation. 

On pourrait bien sur egalement envisager de remplacer le codage MPEG-4 
25 par tout type de codage bas6 sur des techniques equivalentes, c'est-^-dire utilisant 
une prediction temporelle et une transformation en cosinus discrete (DCT) basees 
sur une structure de blocs, et les quantifications et codages entropiques pour les 
informations g6n6r6es. En particulier, un codage ITU-T/H.264 ou MPEG-4 AVC 
(tel que decrit notamment dans Joint Final Committee Draft of Joint Video 
30 Specification (ITU-T Rec. H.264 I ISO/DSC 14496-10 AVC), Thomas Wiegand, 
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Klagenfurt, 22 juillet 2002) peut 6tre substitue au codage MPEG-4, sans se 
d6partir du cadre de la pr6sente invention. 

Pour chaque image de la sequence vid6o consid6r6e entrant dans le 
dispositif de codage, ou codeur, ce dernier decide de la coder avec un module 
5 d*encodage MPEG-4 (avec ou sans optimisation d6bit distorsion), ou avec un 
module d'encodage specifique base sur une optimisation d^bit distorsion. On 
rappelle que Toptimisation debit distorsion permet de realiser un compromis entre 
la qualite de Timage et sa taille : un algorithme bas6 sur Toptimisation d6bit 
distorsion permet done de r6aliser une optimisation en vue d'atteindre le meUleur 

10 compromis possible. 

L*estimation de mouvement des images de type P et B est mise en oeuvre 
selon la technique de "block matching" prevu dans la norme MPEG-4. 

Le codage de I'erreur est quant a lui realise par la mise en oeuvre de 
I'invention. Une telle transformation des images d'erreur en ondelettes de 

15 deuxi^me g^n^ration bas6e maillage conduit k une bonne representation des 
discontinuites des images (contours , texture, singularites,..), pour un cout de 
codage associ6e tr^s faible. L'invention permet done d'atteindre une trfes bonne 
efficacite en compression, puisque, d'une part, elle prend en compte les differents 
types de singularites des images et que, d'autre part, elle traite ces demieres en 

20 choisissant un modMe d'ondelettes adapte. 

La premiere etape du codage de la sequence vid6o a laquelle on s'interesse 
dans cet conceme le codage des images "intras" L Ce codage repose par exemple 
sur ^utilisation d*une transformde DCT comme dans MPEG-4, ou sur Tapplication 
d'une methode de codage par ondelettes de premiere generation, telle que decrite 

25 par exemple par W. Dahmen dans "Decomposition of refinable spaces and 
applications to operator equations", Numer. Algor., N*'5, 1993, pp. 229—245 (en 
franjais "Decomposition d'espaces pouvant Stre raffin6s et applications aux 
equations d'operateur"). 

La deuxifeme etape du codage de la sequence video conceme quant ^ elle 

30 le codage des images predites P et des images bidirectionnelles B. On compense 
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d'abord ces images en mouvement par une m^thode classique 
estimation/compensation tel que par exemple, le "block matching" [dScnt par G J. 
Sullivan et R.L. Baker dans "Motion compensation for video compression using 
control grid interpolation". International Conference on Acoustics, Speech, and 
5 Signal Processing, 1991. ICASSP-91, voL4, pp 2713-2716, en fran9ais 
"Compensation de mouvement pour la compression vid^o utilisant 
uneinterpolation de grille de controle"], puis on stocke les images d'erreur 
correspondantes. 

Ainsi, les images tferreur sont obtenues par soustraction de Timage exacte 

10 de la sequence et d'une image construite par compensation/estimation de 
mouvement. Si cette demi&re difffere de Timage exacte, Timage d^erreur comprend 
done au moins une region d'erreur, qu'il convient de coder. Si au moins certaines 
parties de I'image exacte et de I'image obtenue par compensation de mouvement 
sont identiques, I'image d'erreur comprend 6galement au moins une region 

15 sensiblement vide, pour laquelle il sufCit de transmettre une valeur nulle lors de la 
transmission du flux de codage. 

Au cours d'une troisifeme ^tape, on sdpare les informations d'erreurs et les 
informations de mouvement, et on s'interesse a la detection des regions d'erreur au 
seiu de I'image d'erreur, via un seuillage. Si on pose « e » un seuU de tol6rance, 

20 les regions d'erreurs sont reconnues comme 6tant toutes les regions de Timage 
d'erreur pr&entant une valeur superieure k ce seuiL 

Dans une premifere variante de realisation de Tinvention, ces regions 
d'erreurs sont regroup6es par blocs (pour avoir des zones sous forme de 
quadrilateres). Le regroupement des blocs se fait en associant k chaque bloc au 

25 moins une caracteristique correspondant a des informations de textures, couleurs, 
de formes, de contours, de singularites isolees. Cette caractdrisation permet de 
regrouper des blocs entre eux et de generer un partitionnement de I'image, sous 
forme de zones de natures distinctes, qui permettra de coder chaque zone de la 
partition suivant sa transformation optimale, par application du type d'ondelettes 

30 approprie. 
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Dans une deuxieme variante de realisation de Tinvention, illustree en 
figure 3, le partitionnement de Timage en zones de natures distinctes se fait selon 
une technique de type "quadtree". 

On considfere une image 31, comprenant par exemple trois regions tferreur 
5 r6f6rencees 32 a 34. On opere par iterations successives (etape 1 a etape 4), en 
partitionnant Timage 31 en quatre zones carrees, chacune de ces zones etant k son 
tout subdivisee en quatre sous-zones carrees, et ainsi de suite, jusqu'^ ce que la 
maille carr6e ainsi obtenue puisse etre consid6r6e conune incluse dans la region 
dfeireur referenc^e 32, 33 ou 34 de I'image 31. 

10 Apres que la detection des diffdrents blocs d'erreur de Timage a 6t6 r6alis6e 

(selon Tune des deux variantes de realisation decrites ci-dessus), Timage est done 
decoupee en zones de differentes natures, ainsi qulllustrd precedemment en 
relation avec la figure 2, qui sont codees a Taide d'ondelettes differentes, pour 
permettre d'optimiser le codage en fonction des propri€t6s de Tondelette choisie. 

15 La nature d'une zone pent par exemple 8tre d6termin6e par la density du 

maiUage qui la recouvre. Ainsi, si le maUlage de la zone consideree est dense, on 
pent en d6duire qu'il s'agit d*une zone de texture. 

Une zone comprenant des singularites de Timage est en revanche une zone 
dans laquelle le maillage est dense autour d'un point de Timage, puis trfes peu 

20 dense sur les points voisins. Une zone de contour est quant a elle caract6risee par 
un maillage dense dans une direction. 

Au cours d'une quatrifeme 6tape, apr&s que les zones (pref6rentiellement 
sous forme de quadrilatferes) de natures distinctes de I'image ont 6t6 d6terminees, 
on applique un maillage regulier dense sur chacune de ces zones, ainsi qu^illustre 

25 par la figure 4. La densite du maillage est un parametre ajustable en fonction de 
rimage. La figure 4 illustre un maillage r6gulier appliqu6 h, une image 
representant un « cameraman ». Ce maillage est du type quinconce. II permet une 
subdivision irF6guli^re et I'emploi des ondelettes de seconde generation. 

Au cours d'une cinquieme etape de traitement, et selon une premifere 

30 variante de realisation, on part du maillage regulier dense de la figure 4 pour le 
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faire evoluer vers un maillage grossier « optimal » suivant des criteres debit- 
distorsions predetermin6s et en fonction des differentes proprietds de la zone de 
Timage consid6r6e (zone de texture, zone de contours, ou zone de singularit6s par 
exemple). 

5 Les figures 5a ^ 5d illustrent r6volution du maillage de la figure 4 aux 

iterations n°3, 6, 9 et 16 respectivement. 

Plus precis6ment, apres lecture de I'image et creation du maillage regulier 
de la figure 4, on proc^de par iterations successives consistant a realiser une 
optimisation des triangles du maillages, une fusion des triangles puis un 

10 permutation des arStes, encore appele "swapping". Les positions des noeuds du 
maillage sont ensuite quantifi^es et une optindsation g6om6trique est ensuite mise 
en oeuvre. II faut en effet verifier qu'aucune maille ne s'est retoumee : on teste 
done chaque triangle (operation dite "de clockwise"). Une demiere quantification 
des points est n6cessaire. On revient ensuite k la quantification iJ. Cette boucle 

15 est r6alis6e autant de fois que souhait6, le nombre d*it6rations successives 
constituant un param^tre personnalisable du codage. 

Les figures 5e a 5g illustrent cette cinquidme 6tape du codage de la 
sequence video dans le cas ou Timage consideree est une image d'erreur. Ainsi, la 
figure 5e represente une image d'erreur extraite de la sequence video dite 

20 Foreman ; la figure 5f represente une image d'erreur extraite de la sequence 
Foreman maill6e r^guliferement ; enfin, la figure 5g repr6sente une image d'erreur 
extraite de la sequence Foreman maillee aprfes quelques iterations de Talgorithme 
de recherche de zones de I'invention. 

Cette cinquieme etape du codage de la sequence video peut egalement etre 

25 mise en oeuvre selon une deuxieme variante de realisation, consistant a appUquer 
un maillage "grossier" a I'image consideree, puis k raffiner ce maillage grossier 
par subdivisions successives. Pour g6nerer un tel maillage grossier, on place des 
points 6quidistants sur les contours, les textures, et les singularit6s de Timage, qui 
pennettront ensuite de mailler judicieusement la zone h couvrir, i.e. de mani^re 
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adaptative On realise ensuite une subdivision 1 vers 4 standard pour obtenir, par 
raffinement, le maillage semi r6gulier final. 

On peut par exemple proc6der selon la technique d6crite par P. Gioia dans 
"Reducing the number of wavelet coefficients by geometric partitioning'*, 
5 Computational Geometry, Theory and Applications VoL 14, 1999, pp 25—48 (en 
fran^ais "R6duire le nombre de coefficients d'ondelettes par partition 
g^ometrique"). 

La sixifeme 6tape du codage de la sequence conceme la gestion des bords, 
ainsi qu'illustre par la figure 6. Pour ce faire, on utilise un hom6omorphisme du 

10 maillage plan 61 (maillage quinconce) k un tore 62 (selon une m^thode dite par 
p6riodisation) ou encore une symetrisation classique des donndes. Pour cela, on 
prolonge I'image en inversant les diagonales situees sur les frontieres 
problematiques (c'est-^-dire sur les frontieres qui ne sont pas orientees dans Time 
des directions du maillage). L'approche p6riodisation et symetrisation s'avfere 

15 importante en images car elle permet d'^viter de biaiser la distribution statistique 
des coefficients ondelettes h transmettre et done d'essayer de converger ainsi vers 
une loi bi-exponentielle 

Au cours d'une septieme etape, on applique les ondelettes de deuxieme 
generation sur le maillage de I'image. Pour cela, on applique par exemple la 

20 methode proposee par M. Lounsbery, T. DeRose, J. Warren "Multiresolution 
Analysis for Surfaces of Arbitrary Topological Type", ACM Transactions on 
Graphics, 1994 (en frangais "Analyse multiresolution pour des surfaces de type 
topologique arbitraire) avec les types d'ondelettes s61ectionn6s selon Invention en 
fonction de la nature de la zone consider^e (par exemple des ondelettes de Loop 

25 oude Butterfly). 

L'ondelette est appliquee sur le maillage, en tenant compte d*une valeur 
scalaire associee au maillage au point de mise ^ jour de la zone (qui peut gtre dans 
un exemple particulier le pont central), mais aussi en fonction de cette m6me 
valeur scalaire aux points voisins. Cette valeur scalaire peut 8tre par exemple la 

30 luminance du point du maillage considdre, ou une composante de la chrominance 



wo 2004/059982 



25 



PCT/FR2003/003846 



de ce meme point. II s'en suit une decomposition ponderee par ondelettes, 
illustr6e par les figures 7a k 7d. 

La figure 7a illustre une ondelette de Butterfly, dans laquelle le point 
central reference 70 indique le point d'application du maillage et oil les autres 
5 points repr^sentent les coefficients d'interpolation sur les points voisins du 
maillage. Comme indique precedenunent, cette ondelette est particulierement 
adaptee pour la gestion des textures. 

En d'autres termes, on etudie les parametres caractdristiques du maillage 
(par exemple, la luminance de Timage en certains points), afin de determiner s'il 
10 est necessaire et/ou avantageux de rajouter un noeud supplementaire ref6renc6 70, 
selon une etape d'analyse par ondelettes de deuxieme generation, telle que d^crite 
par exemple dans Tarticle de M. Lounsbery, T. DeRose, et J. Warren cite 
precedemment. 

Les figures 7b k 7d illustrent respectivement des ondelettes de Loop, 

15 affines, et de CatmuU-Clark. Le point r6f6renc6 70 represente, sur ces difKrentes 
figures, le point d*application du maillage, encore appele point de mise k jours. 
Les autres points repr^sentent 6galement les coefficients d*interpolation sur les 
points voisins du maillage. 

En procedant de la maniere decrite ci-dessus, on obtient done des 

20 coefficients d'ondelettes pour le maillage particulier de la zone de Timage 
consideree. Cette operation est realisee sur toute I'image, et, dans le cas d'une 
sequence video, pour toutes les images P/B. On applique, sur chaque partie du 
maillage, Tondelette la mieux adaptee en fonction du type de denudes traitdes (par 
exemple textures, contours, singularites, couleurs, formes, etc.). 

25 Comme indiqu6 precedemment, afin de determiner la nature de la zone 

concemee, on peut raisonner sur la densite du maillage autour d'un point et d'une 
region autour de ce point Ainsi, si en un point A de Timage le maillage est dense 
(par rapport k ses deux voisins successifs) mais qu'autour de cette region, le 
maillage est vide, on dira qu'il s'agit d'une singularity isolee. On appliquera alors 

30 par exemple une ondelette affine. Si, autour de cette region, le maillage est encore 



wo 2004/059982 



26 



PCT/FR2003/003846 



dense, on dira qu'il s'agit d'une texture, et on appliquera preferentiellement une 
ondelette de Butterfly. Pour caracteriser les contours, on d6tectera la densit6 du 
maillage suivant une direction (si le maillage est dense selon une direction 
particulifere). 

5 Dans le cadre du codage d'une sequence video, on prend egalement en 

compte rinterdependance des images successives de la sequence : ainsi, lorsqu'on 
passe d'une image k Tautre, une partie (voire Tensemble) du maillage peut 6tre le 
meme. II convient done de ne transmettre, vers le terminal de d6codage ou de 
restitution, que les noeuds du maillage qui ont chang6 par rapport k Timage 

10 pr6c6dente de la sequence. Les autres nceuds seront consid6r6s par le codeur 
comme fixes. De la m8me maniere, I'ondelette appliquee a im maillage particulier 
reste dans la plupart des cas invariante d'une image a Tautre. Dans le cas ou 
I'ondelette reste la mSme, on ne transmet pas d'informations a ce niveau. 

Au cours d'une huitieme etape, on code les coefficients ondelettes obtenus 

15 pr6c6denraient : pour ce faire, on met en ceuvre une technique de type zero tree 
(telle que decrite par exemple par J.M Shapiro dans "Embedded Image Coding 
Using Zerotree of Wavelet Coefficients", DBEE Transactions on Signal 
Processing, Vol.41, NO. 12, decembre 1993, pp 3445—3461 (en frangais "Codage 
d'image utilisant un zero tree de coefficients d'ondelettes")), ou une methode de 

20 type EBCOT (telle que pr6sent6e par exemple par D. Taubman dans "High 
Performance Scalable Image Compression with EBCOT", IEEE Transactions on 
Image Processing, Vol. 9, NO. 7, Juillet 2000 (en frangais "Compression d'image 
echelonnable de haute performance avec EBCOT")), pour classifier et quantifier 
les coefficients d'ondelettes. 

25 La neuvieme etape du codage de la sequence video concerne la mise en 

forme de ces coefficients d'ondelettes. Elle peut Stre realisee suivant la methode 
propos6e dans le document ISO/IEC JTC 1/SC 29/WG 11, N4973, AFX 
Verification Model 8, Klagenfurt, Austria, July 2002, concem6e par la 
normalisation MPBG4. Suivant les zones d'interet, ou les zones de fortes erreurs, 



wo 2004/059982 



27 



PCT/FR2003/003846 



des paquets peuvent etre discrimines par rapport h, d'autres lors de la reception et 
du decodage. 

Une autre m6thode consiste k transmettre les coefficients d'ondelettes par 
« ordre » de priorite, suivant la quantity d'erreur contenu dans le paquet. Ainsi, les 
5 donn^es peuvent etre transmise sous la forme : N° du Paquet/information Header 
(nombre de coefficients, zone de Timage, nombre de plans de bit...)/Type 
d'ondelette/coefficients ondelettes/infonnations maillages. Les donnees sont ainsi 
transmises vers le canal, puis sont regues pour decodage ou stockage. 

Selon rinvention, on definit preferentiellement une structure de signal, 
10 organist sous la forme de paquets consecutifs, chacun de ces paquets comprenant 
lui-m6me les champs suivants : d6but de paquet/N° Paquet/information 
Header/Types d'ondelettes/Coefficients d^ondeletttes/Forme du maillage/fin de 
paquet. 

Le champ N° paquet contient un identifiant du paquet qui est attribu6 par 
15 ordre suivant la taille du paquet. 

Le champ "Information header" (en frangais, "en-tete d'informations") 
comprend les sous-champs suivants : 

le nombre de coefficients d'ondelettes (nombre global dans la zone de 
I'image traitee) ; 

20 - la zone de Timage consideree (en fonction des informations foumies 
notamment par le champ "Forme du maillage") ; 

le nombre de plans de bits (utilises pour le codage des coefficients 
d*ondelettes). 

Le champ Type de Tondelette indique si Tondelette appliquee k la zone 
25 consid6r6e est par exemple une ondelette de Loop, de Butterfly, de CatmuU-Clark, 
ou encore une ondelette affine, ou de toute autre type choisi en fonction de la 
nature de la zone consideree. 

Le champ Forme du maillage permet quant k lui de transmettre le maillage 
de base (sous la forme d'un ensemble de sommets et d'aretes). 
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Si Ton considere par exemple une image k coder qui a ete partitioiinee 
selon rinvention en deux zones de natures distinctes, la premiere zone ayant 6t6 
cod6e par ondelettes de Butterfly, et la seconde par ondelettes de Loop, le signal 
de rinvention v6hiculant la sequence cod6e transmise est pref6rentiellement de la 
5 forme : 

Debut d'image 

debut de paquet / N°145 / 250 coef / sommetS, arete2,4,5; sommet45, arete 
56,54,87... / 256 / butterfly / (10.25,14). (25.54.84),(...),(25.36.10) / fin de paquet 
debut de paquet / N*260 / 130 coef / sommet14. arete8,41,5; sommetZ. arete 
10 21 .47,21 ... / 256 / loop / (1 ,5,8). (2.4,42),(...),{52,20.10) / fin de paquet 

Fin d'image 

L'invention prevoit egalement d'associer a chaque type d'ondelette un code 
predefini entre le codeur et le decodeur, de f agon a simplifier le contenu du champ 
Type d*ondelettes. Ainsi, on pent envisager d'attribuer aux ondelettes de Loop 
15 ridentifiant 1, aux ondelettes de Butterfly, le 2, aux ondelettes de Catmull-clark, le 
3, et aux ondelettes affines, le 4. Le champ type d'ondelettes pent alors etre code 
sur 2 bits. 

La mdthode de decodage est la m^thode duale de la methode codage. Sur 
reception du signal vehiculant les paquets ci-dessus, le dispositif de decodage en 
20 extrait done les informations relatives au type d'ondelettes applique k chacune des 
zones d6finies pour I'image, et applique un d6codage s61ectif de chacune de ces 
zones, en fonction du type d'ondelettes utilise lors du codage. 

On obtient done une image de quality visuelle optimale, et ce ^ faible coiit 
de codage. 
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REVENDICATIONS 

1. Proc6d6 de codage d'une image k laquelle est associ6 un maillage 
hierarchique, mettant en oeuvre un codage dudit maillage par ondelettes, 
caract6ris6 en ce qu'il met en oeuvre au moins deux types d'ondelettes 

5 appliquees selectivement h des zones distinctes de ladite image. 

2. Procede de codage selon la revendication 1, caract6rise en ce qu'il 
comprend les 6tapes suivantes : 

une 6tape de partitionnement de ladite image en au moins deux zones 
de natures distinctes, la nature d'une zone etant fonction d'au moins un 
10 param^tre caract6ristique dudit maillage dans ladite zone ; 

pour chacune desdites zones, une etape d'affectation, au moins en 
fonction de ladite nature, d'un type d'ondelettes permettant doptimiser 
ledit codage dudit maillage de ladite zone. 

3. Proc6d6 de codage selon la revendication 2, caractdrise en ce que ledit 
IS param^tre caract6ristique dudit maillage tient compte de la densite dudit 

maillage dans ladite zone. 

4. Proc6d6 de codage selon Tune quelconque des revendications 2 et 3, 
caracterise en ce que ladite nature de ladite zone appartient au groupe 
comprenant : 

20 - au moins un type de texture ; 

au moins un type de contour ; 

au moins un type de singularity ; 

au moins un type de couleur ; 

au moins un type de forme, 
25 5. Procede de codage selon Tune quelconque des revendications 1^4, 
caracterise en ce que lesdits types d'ondelettes appartiennent au groupe 
comprenant : 

les ondelettes de Loop ; 

les ondelettes de Butterfly ; 
30 - les ondelettes de CatmuU-clark ; 
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les ondelettes affines. 

6. Proc6de de codage selon Tune quelconque des revendications 1^5, 
caract6ris6 en ce qu'il comprend, pour chacune desdites zones, une 6tape 
d*application audit maillage de coefficients dudit type d'ondelettes affecte a 

5 ladite zone, tenant compte d'une valeur scalaire associee audit maillage en un 
point demise ^ jour de ladite zone et de ladite valeur scalaire associee audit 
maiQage en au moins certains points voisins dudit point de mise k jour. 

7. Proc6de de codage selon la revendication 6, caract6rise en ce que 
ladite valeur scalaire repr6sente un paramfetre dudit maillage appartenant au 

10 groupe comprenant : 

la luminance dudit maillage ; 

au moins une composante de chrominance dudit maillage. 

8. Procede de codage selon Tune quelconque des revendications 6 et 7, 
caracterise en ce qu'il comprend en outre une 6tape de codage desdits 

15 coefficients d'ondelettes mettant en oeuvre une technique appartenant au groupe 
comprenant : 

une technique de type zero-tree ; 
une technique de type EBCOT. 

9. Procede de codage selon Tune quelconque des revendications 6 a 8, 
20 caracterise en ce que, ladite image appartenant k une sequence d'images 

successives, ledit proc6d6 comprend en outre une etape de comparaison desdits 
coefficients d'ondelettes de ladite image aux coefficients d'ondelettes d'au 
moins une image prec^dente ou suivante de ladite sequence, de fagon k 6viter 
de mettre en ceuvre ladite etape de codage pour des coefficients d'ondelettes de 
25 ladite image identiques k ceux de ladite image pr^cedente ou suivante. 

10. Procede de codage selon Tune quelconque des revendications 1 a 9, 
caract6ris6 en ce qu'il permet de coder une sequence d'images successives, 

et en ce que ladite image est une image d'erreur, obtenue par comparaison 
d'une image originale de ladite sequence et d'une image construite par 
30 estimation/compensation de mouvement, ladite image comprenant au moins 
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une region d*erreur a coder et 6ventuellement au moins une region 
sensiblement vide. 

11. Proc6d6 de codage selon la revendication 10, caract6ris6 en ce que 
ladite 6tape de partitionnement comprend une etape de detection desdites 

5 regions d'erreur de ladite image par seuillage, permettant de determiner au 
moins une region de ladite image presentant une erreur superieure a un seuil 
pr6d6termin6. 

12. Procede de codage selon la revendication 11, caracteris6 en ce que 
ladite 6tape de partitionnement comprend dgalement une etape de 

10 regroupement d*au moins certaines desdites regions d'erreur detectfes par blocs 
de forme parallelipipedique. 

13. Procede de codage selon la revendication 12, caract6rise en ce que 
ladite etape de partitionnement comprend une etape de creation desdites zones 
de ladite image sous forme d'ensembles de blocs de meme nature. 

15 14. Proc6d6 de codage selon la revendication 11, caract6ris6 en ce que 
ladite 6tape de partitionnement comprend une etape de creation desdites zones 
de ladite image a partir desdites regions d'erreur d6tect6es, mettant en ceuvre 
une technique de t)^e quadtree. 

15. Procede de decodage d'une image k laquelle est associe un maillage 
20 hi^rarchique code par ondelettes, 

caracteris^ en ce qu'il met en oeuvre un d6codage s^lectif de zones distinctes de 
ladite image, en fonction ^informations relatives a un type tfondelettes affecte 
au codage du maillage de chacune desdites zones. 

16. Dispositif de codage d'une image a laquelle est associe un maillage 
25 hierarchique, mettant en oeuvre des moyens de codage dudit maillage par 

ondelettes, 

caract6ris6 en ce qtfil comprend des moyens d'application selective d'au moins 
deux types d'ondelettes a des zones distinctes de ladite image. 

17. Dispositif de d&odage d'une image k laquelle est associe un maillage 
30 hierarchique code par ondelettes, caracteris6 en ce qu*il comprend des moyens 
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de decodage selectif de zones distinctes de ladite image, en fonction 
d'inforaiations relatives a un type d'ondelettes affect6 au codage du maillage de 
chacune desdites zones. 

18. Signal reprdsentatif tfune image h laquelle est associ6 un maillage 
5 hierarchique cod6 par ondelettes, 

caracterise en ce qu*au moins deux types d'ondelettes ayant ete appliques 
selectivement a des zones distinctes de ladite image lors du codage, ledit signal 
vehicule des informations relatives audit type d'ondelettes aff ecte au codage du 
maillage de chacune desdites zones. 
10 19. Signal selon la revendication 18, caracteris6 en ce qu'il est structure 
sous forme de paquets associes chacun k Tune desdites zones de ladite image, 
chacun desdits paquets comprenant les champs suivants : 
un champ indicatif d'un debut de paquet ; 
un champ vehiculant un identifiant dudit paquet ; 
15 - un champ tfen-tSte d'informations (en anglais "information header") ; 

un champ comprenant lesdites informations relatives audit type 
d'ondelettes affects a ladite zone ; 

un champ comprenant des coefficients d'ondelettes appliques audit 

maillage de ladite zone ; 
20 - un champ relatif k la forme dudit maillage de ladite image ; 

un champ indicatif d'une fin de paquet. 
20. Signal selon la revendication 19, caracteris6 en ce que ledit champ 
d'en-tSte ^informations comprend : 

un sous-champ relatif au nombre de coefficients d'ondelettes de ladite 
25 zone ; 

un sous-champ indiquant ladite zone de ladite image, en fonction de 

ladite forme dudit maillage ; 

un sous-champ relatif au nombre de plans de bits mis en cEuvre pour 
lesdits coefficients d'ondelettes. 
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21. Application du proced6 de codage selon Tune quelconque des 
revendications 1 i 14 et du proc6d6 de d6codage selon la revendication 15 k 
Tun au moins des domaines appartenant au groupe comprenant : 

le "streaming" vid6o (en frangais, "Emission d'un flux video") ; 
5 - le stockage des videos ; 

la visioconference ; 

la vid6o k la demande (en anglais VOD pour "Video On Demand") ; 
les mels viddo. 
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